# ELMo

## 개요

**ELMo**(Embeddings from Language Models)는 자연어처리(NLP) 분야에서 획기적인 성과를 이룬 **문맥 기반 단어 임베딩**(contextualized word embedding) 기술 중 하나로, 2018년 앨리슨 패리스키(Allison Parrish)와 마일스 루트(Miles Luft) 등이 아닌 **앨런 AI 연구소**(Allen Institute for AI)의 제프리 펜팅턴(Jeffrey Pennington), 맷 펠츠먼(Matt Peters), 그리고 스완트 존슨(Swabha Swayamdipta) 등이 중심이 되어 개발한 모델입니다. ELMo는 기존의 정적 단어 임베딩(예: Word2Vec, GloVe)이 단어 하나에 대해 고정된 벡터를 부여하던 방식에서 벗어나, **문장 내에서의 단어의 문맥에 따라 동적으로 임베딩 벡터를 생성**함으로써 의미의 다의성(예: "bank"가 금융기관인지 강가인지)을 효과적으로 구분할 수 있게 해줍니다.

ELMo는 순환 신경망 기반의 양방향 언어 모델(Bi-directional LSTM)을 사용하여 각 단어의 표현을 문장 전체의 구조와 맥락을 반영하도록 학습합니다. 이 기술은 이후 BERT, GPT 등 트랜스포머 기반 모델의 등장 전까지 문맥 기반 임베딩의 표준으로 자리 잡았으며, 다양한 NLP 태스크(예: 개체명 인식, 의미 역할 인식, 문장 분류 등)에서 성능 향상을 이끌어냈습니다.

---

## 기술적 원리

### 1. 양방향 언어 모델 (BiLM)

ELMo의 핵심은 **양방향 언어 모델**(Bidirectional Language Model, BiLM)입니다. 이 모델은 두 개의 독립적인 LSTM 계층을 사용합니다:

- **정방향 LSTM**: 문장을 왼쪽에서 오른쪽으로 읽으며 다음 단어를 예측
- **역방향 LSTM**: 문장을 오른쪽에서 왼쪽으로 읽으며 이전 단어를 예측

이 두 방향의 출력을 결합함으로써, 각 단어에 대해 **이전과 이후의 문맥 정보를 모두 반영한 표현**을 얻을 수 있습니다.

### 2. 계층적 임베딩 구조

ELMo는 단순히 단어 하나의 표현을 제공하는 것이 아니라, **다층적인 표현**(hierarchical representations)을 생성합니다. 구체적으로는 다음과 같은 구성 요소로 이루어집니다:

- **입력 표현**: 문자 기반 컨볼루션 신경망(CNN)을 통해 단어의 형태소적 특징(접두사, 접미사 등)을 추출
- **LSTM 은닉 상태**: 여러 층의 BiLSTM에서 각 단어 위치에 대해 출력된 은닉 상태들
- **가중 결합**: 각 츈의 출력을 가중합하여 최종 ELMo 벡터 생성

수식적으로 표현하면, 단어 $ t $에 대한 ELMo 표현은 다음과 같습니다:

$$
\text{ELMo}_t = E(x_{t}) = W \cdot h_{\text{LM}}(t)
$$

여기서 $ h_{\text{LM}}(t) $는 여러 층의 LSTM에서 추출된 은닉 상태의 가중합이며, $ W $는 학습 가능한 가중치입니다.

---

## 활용 방식

ELMo는 **보조 모델**(downstream model)에 **임베딩 레이어로 삽입**되어 사용됩니다. 기존의 단어 임베딩(예: GloVe) 대신 ELMo 벡터를 입력으로 제공함으로써, 문맥을 반영한 더 풍부한 표현을 활용할 수 있습니다.

예를 들어, 개체명 인식(NER) 모델에서는 다음과 같은 구조로 ELMo를 활용할 수 있습니다:

1. 입력 문장의 각 단어에 대해 ELMo를 통해 문맥 기반 벡터 생성
2. 이 벡터를 BiLSTM-CRF와 같은 순차 모델의 입력으로 사용
3. 최종적으로 각 단어의 라벨(예: 사람, 장소, 조직 등) 예측

이러한 방식은 기존 정적 임베딩 대비 **의미적 정확도와 다의성 처리 능력에서 큰 향상**을 보였습니다.

---

## 장점과 한계

### 장점

- **문맥 감지 능력 우수**: 동일 단어라도 문맥에 따라 다른 벡터를 생성
- **다양한 태스크에서 호환성 높음**: NER, 품사 태깅, 의미 분석 등 다양한 NLP 작업에 적용 가능
- **문자 기반 특징 추출**: 철자가 비슷한 단어(예: "running", "runner")의 공통 구조를 학습 가능

### 한계

- **LSTM 기반으로 인한 병렬화 어려움**: 트랜스포머 기반 모델보다 학습 속도가 느림
- **상대적으로 작은 모델 크기**: BERT 등 후속 모델에 비해 표현력 제한
- **동적 계산 오버헤드**: 추론 시마다 문맥 벡터를 재계산해야 하므로 리소스 소모 큼

---

## 관련 연구 및 영향

ELMo는 2018년 NAACL에서 발표된 논문 *"Deep contextualized word representations"* 을 통해 큰 주목을 받았으며, 이후 BERT, GPT 등 트랜스포머 기반 모델의 발전에 기반을 제공했습니다. 특히, ELMo가 보여준 **문맥 기반 표현의 중요성**은 현대 NLP의 패러다임 전환을 이끌었으며, "pre-training + fine-tuning" 아키텍처의 초석이 되었습니다.

---

## 참고 자료

- Peters, M. E., et al. (2018). [Deep contextualized word representations](https://arxiv.org/abs/1802.05365). *NAACL-HLT*.
- AllenNLP 공식 문서: [https://allennlp.org/elmo](https://allennlp.org/elmo)
- Stanford CS224N 강의 자료: [https://web.stanford.edu/class/cs224n/](https://web.stanford.edu/class/cs224n/)

> ELMo는 자연어처리의 역사에서 중요한 전환점으로 평가되며, 오늘날의 대규모 언어 모델(LLM) 발전의 기반이 되었다고 할 수 있습니다.